我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

One of the major challenges in Deep Reinforcement Learning for control is the need for extensive training to learn the policy. Motivated by this, we present the design of the Control-Tutored Deep Q-Networks (CT-DQN) algorithm, a Deep Reinforcement Learning algorithm that leverages a control tutor, i.e., an exogenous control law, to reduce learning time. The tutor can be designed using an approximate model of the system, without any assumption about the knowledge of the system's dynamics. There is no expectation that it will be able to achieve the control objective if used stand-alone. During learning, the tutor occasionally suggests an action, thus partially guiding exploration. We validate our approach on three scenarios from OpenAI Gym: the inverted pendulum, lunar lander, and car racing. We demonstrate that CT-DQN is able to achieve better or equivalent data efficiency with respect to the classic function approximation solutions.

To make machine learning (ML) sustainable and apt to run on the diverse devices where relevant data is, it is essential to compress ML models as needed, while still meeting the required learning quality and time performance. However, how much and when an ML model should be compressed, and {\em where} its training should be executed, are hard decisions to make, as they depend on the model itself, the resources of the available nodes, and the data such nodes own. Existing studies focus on each of those aspects individually, however, they do not account for how such decisions can be made jointly and adapted to one another. In this work, we model the network system focusing on the training of DNNs, formalize the above multi-dimensional problem, and, given its NP-hardness, formulate an approximate dynamic programming problem that we solve through the PACT algorithmic framework. Importantly, PACT leverages a time-expanded graph representing the learning process, and a data-driven and theoretical approach for the prediction of the loss evolution to be expected as a consequence of training decisions. We prove that PACT's solutions can get as close to the optimum as desired, at the cost of an increased time complexity, and that, in any case, such complexity is polynomial. Numerical results also show that, even under the most disadvantageous settings, PACT outperforms state-of-the-art alternatives and closely matches the optimal energy cost.

社交机器人是一种自主机器人，通过参与其协作角色附带的社会情感行为，技能，能力和规则，与人们互动。为了实现这些目标，我们认为建模与用户的互动并将机器人行为调整为用户本人对其社会角色至关重要。本文提出了我们首次尝试将用户建模功能集成到社交和情感机器人中。我们提出了一种基于云的体系结构，用于建模用户机器人交互，以便使用不同类型的社交机器人重复使用该方法。

许多微体系式优化为深度神经网络解锁了巨大的处理能力，从而促进了AI革命。随着这种优化的精疲力尽，现代AI的增长现在是通过培训系统的性能，尤其是其数据流动的。我们没有专注于单个加速器，而是研究了全系统规模的大规模培训的数据移动特征。基于我们的工作量分析，我们设计了HammingMesh，这是一种新颖的网络拓扑，以低成本提供高的带宽，并具有很高的工作计划灵活性。具体而言，HammingMesh可以支持具有两个并行性的两个维度的深度学习培训工作的完整带宽和隔离。此外，它还为通用流量的高全球带宽提供支持。因此，HammingMesh将为未来的大规模深度学习系统供电，并具有极端的带宽要求。

Terahertz（THZ）无线网络有望催化第五代（B5G）时代。但是，由于THZ链接的定向性质和视线需求以及THZ网络的超密集部署，因此需要面对中等访问控制（MAC）层的许多挑战。更详细地，通过合并能够在复杂且经常变化的环境中提供“实时”解决方案的人工智能（AI）来重新思考用户协会和资源分配策略的需求变得明显。此外，为了满足几种B5G应用的超可靠性和低延迟需求，需要采用新颖的移动性管理方法。在此激励的情况下，本文提出了一种整体MAC层方法，该方法可以实现智能用户协会和资源分配以及灵活和适应性移动性管理，同时通过阻止最小化最大化系统的可靠性。更详细地，记录了一个快速和集中的联合用户协会，无线电资源分配和避免避免阻塞的元数据映射机器学习框架，从而最大化THZ网络的性能，同时将关联延迟最小化大约三个幅度范围。 。为了支持访问点（AP）覆盖区域，移动性管理和避免阻塞，讨论了深入的强化学习（DRL）进行梁选择方法。最后，为了支持邻居AP的覆盖范围之间的用户移动性，报告了一种基于AI辅助快速通道预测的主动手部机制。

集成感应和通信（ISAC）代表范式转移，以前竞争的无线传输是共同设计的，可通过共同使用硬件平台来提高光谱，能源和硬件效率来和谐地运行。但是，由于诸如褪色和堵塞之类的对抗性因素，ISAC无融合可能会遭受高感知不确定性的影响。本文提出了一个多点ISAC（MPISAC）系统，该系统通过利用多雷达数据冗余来融合来自多个ISAC设备的输出，以实现更高的感应性能。此外，我们建议通过功能选择模块有效地探索传感和通信之间的性能权衡，该功能选择模块可适应地确定ISAC设备的工作状态（即传感或通信）。我们方法的症结在于采用融合模型，该模型通过假设检验和最佳投票分析来预测融合精度。仿真结果表明，MPISAC优于各种基准方案，并表明所提出的方法可以有效地跨越ISAC系统中的权衡区域。

二进制代码分析的最新趋势促进了基于教学嵌入模型的神经解决方案的使用。指令嵌入模型是一个神经网络，将汇编指令序列转换为嵌入向量。如果对嵌入式网络进行了训练，从而使从代码到向量的翻译部分保留了语义，则该网络有效地代表了汇编代码模型。在本文中，我们介绍了Binbert，这是一种新颖的装配代码模型。 Binbert建立在汇编指令序列和符号执行信息的庞大数据集中的预训练的变压器上。 Binbert可以应用于汇编指令序列，并且可以微调，即可以作为任务特定数据的神经体系结构的一部分进行重新训练。通过微调，Binbert学会了如何将获得预培训获得的通用知识应用于特定任务。我们根据多任务基准评估了Binbert，我们专门设计了用于测试组装代码的理解。基准是由几个任务组成的，其中一些是从文献中获得的，以及我们设计的一些新颖任务，并结合了内在和下游任务。我们的结果表明，Binbert优于二进制指令嵌入的最先进模型，提高了二进制代码理解的标准。

最近增加的机器学习方法（ML）方法的复杂性导致了减轻研究和行业发展过程的必要性。 ML管道已成为许多领域，数据科学家和研究人员的专家的重要工具，使他们可以轻松地整理几个ML模型，以涵盖从RAW数据集开始的完整分析过程。多年来，已经提出了几种解决方案来自动化ML管道的构建，其中大多数集中在输入数据集的语义方面和特征上。但是，考虑到ML系统所需的新质量问题（如公平，解释性，隐私等）仍然缺失。在本文中，我们首先从文献中确定ML系统的关键质量属性。此外，我们通过正确扩展功能模型元模型，为优质ML管道提出了一种新的工程方法。提出的方法允许对ML管道进行建模，其质量要求（在整个管道和单个阶段）以及用于实现每个管道阶段的算法的质量特征。最后，我们证明了考虑分类问题的模型的表现力。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。